در جنوب گرمسار و در دامنه های شمالی سیاه کوه کاروانسرای سنگی بسیار زیبایی با پلان مستطیل شکل ساخته شده است که از مهمترین بناهای سیاهکوه است، مصالح عمده جهت ساخت این کاروانسرا سنگ است و در بخش هایی نیز از آجر استفاده شده است، نمای بیرونی این بنا چهار گوش و دارای چند برج با دو دروازه شمالی و جنوبی است. اطراف این قصر شش برج بنا شده است.